Внедряем Data lake,
Data Warehouse

Data Warehouse - это комплекс структурированных данных всего предприятия.
‍Он состоит из хранилищ разных объектов (заказов, цен,  товаров, др). Структура данных определяется заранее. Ведь бизнес знает, какие системы и, как используют их для целей настоящего.

Хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях. Так отказ любого из них, не повлечет проблем с остальным.

Data Warehouse позволяет легко подключить любую систему аналитики.
Данные легко фильтровать по открытым полям и искать нужные объекты.

Data Warehouse улучшает обмен данными между IT-системами:
1. Снижает нагрузку на системы;
2. Ослабляет связанность изменений систем;
3. Позволяет агрегировать и трансформировать данные, как угодно.

Подробнее об интеграциях мы рассказываем здесь.

Что такое Data Lake? Разберем на простом примере системы управления заказами (OMS).

Например, система OMS хранит историю данных по статусам всех заказов. Эти данные важны для аналитики, но саму систему они только засоряют. Такой объем исторических данных лучше вынести в общее хранилище, чтобы не перегружать систему.

Невозможно учесть всех форматов использования этих данных в будущем. Сегодня нужен отчет по количеству времени, за которое заказ переходит из одного статуса в другой. Через месяц потребуется использовать данные о заказах по-другому и в другом формате.

Чтобы хранить данные для использования их в будущем создается Data Lake - озеро данных предприятия. В такое хранилище данные попадают, как есть. Когда станет понятно, для чего использовать эти данные и как, аналитики смогут приступить к обработке.